精彩回顾|依托FATE实现联邦贡献度感知的研究与工业实现
2022年9月14日下午,由FATE开源社区发起的系列线上公开课——FATE 「LIGHT UP」计划第六期成功举办,直播观看量超过千人次。本次公开课中,我们邀请到了来自医渡云的安全计算架构师包仁义老师,为大家详细介绍依托FATE实现联邦贡献度感知的研究及工业实现。
包仁义
医渡云安全计算架构师,先后任职于头部互联网企业,从事存储、性能优化、架构等工作。2019年加入医渡云,组建安全计算团队。主要从事多方安全计算、联邦学习、区块链等方向的产研工作。致力于为医疗场景提供隐私计算解决方案。
·精彩回顾 ·
本次公开课中,包老师首先为我们介绍了联邦贡献度感知的研究背景和现状。
在本次直播过程中,观众朋友们讨论热烈,也提出了许多宝贵问题,下面为大家做出解答。
问
增加了GTG Shapley 算法评估后的联邦学习实际耗时整体有多大幅度的增长?是否有做过评估?
答
包老师:这是一个很专业的问题,我们有过一些评估,我刚才在PPT里也有一些介绍,在准确度方面我们有一些提升,在效率方面也有一些提升。这里的提升更多是考虑单独对贡献度评估来分析的,此外,一个普通的联邦学习过程,加上我们贡献度评估算法以后,整体的效率没有太大的一个变化,就是说不会因为加了一个更多的算法把我整个联邦学习的效率拖慢,这个我们有做过相关的评估的。在网络带宽上会有少量的过载,大概会有5%的过载,因为我们医疗的数据也不是特别大,我觉得如果是一个更大的模型可能网络带宽过载的比例会相对降低一些。
问
在选择计算子集的过程中,如何处理的子集过小导致原始梯度信息泄露问题?
答
包老师:我们现在是基于FATEA做的贡献度评估,最初是依赖FAFT里面的安全聚合方式,当时我们的一种方案是说不选择两个元素的子集,最少选择三个元素的子集,后续我们的一些方案会把聚合的模式改成多方安全计算的模式,通过这种模式我们也可以更好的保障因为选择子集的问题引起梯度泄露。如果按照我们只有一个聚合节点的现状来看,那短时期内还是可能通过控制子集的大小,来限制信息泄露。不过联邦学习本身数据不会出医院,也在一定程度上保障了数据的安全。
点击下方获取论坛完整视频
【关于FATE「LIGHT UP」计划】
随着我国开发者数量及开源贡献度快速增长,中国开源行业发展迈进世界前列。FATE(Federated AI Technology Enabler)开源社区作为全球首个隐私计算、联邦学习开源社区,基于“开源开放、共力创新”愿景,发起线上主题公开课FATE 「LIGHT UP」计划,汇聚联邦学习生态圈、多领域权威专家顾问及创新力量,一起点亮科创共建的理想之光。
社区现面向开发者、产业方、行研专家等全体生态伙伴发起讲师招募,分享让知识更具价值,非常期待您的加入!
【github直达】:阅读原文或复制链接https://github.com/FederatedAI/FATE即可,点击star,方便下次使用。